Multi-Scale Feature Engineering

user static pathway #card

• 用户静态特征转化成 d_model 长度向量

• $\mathbf{f}u=\left[\mathbf{e}{\text {uid }} ; \mathbf{e}{\text {gender }} ; \mathbf{e}{\text {age }} ; \cdots\right]$

• $\mathbf{h}_u =\operatorname{Dense}\left(\operatorname{LeakyReLU}\left(\operatorname{Dense}\left(\mathbf{f}_u\right)\right)\right)$

short-term pathway #card

• 处理用户最近 20 次交互视频相关，建模即时偏好和当前行为模式

• label 包括用户对每个视频的交互，包括点赞、关注、转发、不喜欢、评论、查看个人资料等

• 每个视频转化成 d_model 长度向量

  • $\mathbf{f}s=\left[\mathbf{e}{\text {vid }}^s ; \mathbf{e}{\text {aid }}^s ; \mathbf{e}{\text {tag }}^s ; \mathbf{e}{\text {ts }}^s ; \mathbf{e}{\text {playtime }}^s ; \mathbf{e}{\text {dur }}^s ; \mathbf{e}{\text {label }}^s\right]$,

  • $\mathbf{h}_s=\operatorname{Dense}\left(\operatorname{LeakyReLU}\left(\operatorname{Dense}\left(\mathbf{f}_s\right)\right)\right)$,

positive-feedback pathway #card

• 256 个有正反馈行为的视频序列

• 每个视频转化成 d_model 长度向量

  • $\mathbf{f}p=\left[\mathbf{e}{\text {vid }}^s ; \mathbf{e}{\text {aid }}^s ; \mathbf{e}{\text {tag }}^s ; \mathbf{e}{\text {ts }}^s ; \mathbf{e}{\text {playtime }}^s ; \mathbf{e}{\text {dur }}^s ; \mathbf{e}{\text {label }}^s\right]$,

  • $\mathbf{h}_p=\operatorname{Dense}\left(\operatorname{LeakyReLU}\left(\operatorname{Dense}\left(\mathbf{f}_p\right)\right)\right)$

lifelong pathway

• 处理 :-> 包含最多 10 万条视频的超长用户交互历史，两阶段分层压缩策略

• [[@Twin v2:Scaling ultra-long user behavior sequence modeling for enhanced ctr prediction at kuaishou]]

• Behavior Compression #card

  • 使用多模态内容表示，在每个用户的交互序列上进行分层 K-means 聚类

  • 每步聚类数量设置为 $\lfloor\sqrt[3]{|D|}\rfloor$， D 是当前数据中的项目数，动态调整聚类数量

  • 当前聚类中的类少于阈值 M 时，聚类过程终止，使用最靠近聚类中心的 item 表示该类

• Feature Aggregation 构建聚类的代表特征#card

  • 稀疏类别特征 vid，aid 和 label

    • 用最靠近聚类中心的视频替代

  • 连续特征 tag、tx、playtime 和 duration

    • 计算聚类内所有视频的平均值，捕捉集体行为模式

用户长期历史序列 L=2000，每个视频被对应聚类 item 的特征替代#card

The lifelong pathway compresses historical sequences through QFormer #card

+